<!DOCTYPE html>
<html lang="zh-cn">
<head>
   
    <link type="text/css" rel="stylesheet" href="/bundles/blog-common.css?v=KOZafwuaDasEedEenI5aTy8aXH0epbm6VUJ0v3vsT_Q1"/>
<link id="MainCss" type="text/css" rel="stylesheet" href="/skins/ThinkInside/bundle-ThinkInside.css?v=RRjf6pEarGnbXZ86qxNycPfQivwSKWRa4heYLB15rVE1"/>
<link type="text/css" rel="stylesheet" href="/blog/customcss/428549.css?v=%2fam3bBTkW5NBWhBE%2fD0lcyJv5UM%3d"/>

</head>
<body>
<a name="top"></a>

<div id="page_begin_html"></div><script>load_page_begin_html();</script>

<div id="topics">
	<div class = "post">
		<h1 class = "postTitle">
			<a id="cb_post_title_url" class="postTitle2" href="https://www.cnblogs.com/frankdeng/p/9067140.html">Spark（一）Spark简介</a>
		</h1>
		<div class="clear"></div>
		<div class="postBody">
			<div id="cnblogs_post_body" class="blogpost-body"><h2 class="postTitle">一、官网介绍</h2>
<div class="postBody">
<div id="cnblogs_post_body" class="blogpost-body">
<h3>1 什么是Spark</h3>
<p>官网地址：<a href="http://spark.apache.org/" target="_blank">http://spark.apache.org/</a></p>
<p><img src="https://images2018.cnblogs.com/blog/1385722/201807/1385722-20180711161518119-1384261847.png" alt="" /></p>
<p>Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。</p>
<div>
<div>
<p dir="ltr"><strong>问题</strong><br />工具只在解决了一些问题时才有用，对吧！那么让我们来讨论一下 Spark 能解决的问题。</p>
<p dir="ltr"><br />我们需要（快速获取）答案<br />在批处理过程中，长时间等待运行作业的结果是意料中的事，在如今的企业中，需要快速（&ldquo;近实时&rdquo;）获取答案。大数据的属性（速度、数据量和种类）使得业务问题越来越难获得答案，但快速获取这些答案非常重要。</p>
<p dir="ltr"><br />数据如此之多<br />数据源数不胜数且仍在增加。从 IoT 设备、实时交易、单击流、应用到社交媒体等，数据源在不断增加。所有数据都需要经过一定的处理，这样分析师才能理解并从中获取业务价值。现在您需要能处理所有这些数据，以便将它们转化为某种能使用的信息。能够以越来越快的速度处理从越来越多来源传入的海量数据，这一点很重要！</p>
<p dir="ltr"><br />A 与 B（以及 C、D 等等）有何关联？<br />您拥有所有这些有用的数据，从客户交易、社交媒体交互到地理空间数据等等。现在您需要了解所有这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果，从而确定哪些数据维至关重要，哪些毫无价值。</p>
<p dir="ltr"><br />我们需要知道（何时）将会发生什么<br />您拥有所有这些宝贵的历史数据。太棒了！现在您需要分析它们，了解发生了什么和发生的原因，以便能预测接下来会发生什么。重要的是能够分析所有这些数据，以便预测将会发生的业务事件。</p>
<p dir="ltr"><br /><strong>Apache Spark 不是什么</strong><br />我们常常（且很容易）合并解决一组类似问题的两种或更多相关技术，而且在不能互换使用它们时互换使用了它们。为了避免在 Spark 上犯这种错误，让我们讨论一下它不是什么。</p>
<p dir="ltr"><br />Hadoop<br />Hadoop 是一种大数据文件存储和数据处理框架，它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据，转换数据，并将数据写回磁盘。另一方面，Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据，这些步骤之间相互依赖（Gradle 也使用了一种 DAG），而且不会像 Hadoop（通过 Hadoop 分布式文件系统，HDFS）那样处理文件存储本身。</p>
<p dir="ltr"><br />MapReduce<br />人们很容易将&nbsp;Spark Core 与&nbsp;MapReduce 混淆，因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法：读入数据，MapReduce 转换它，然后将数据写回到磁盘。如果需要另一次转换，则会重复这些步骤。另一方面，Spark 在内存中执行所有处理工作（如有必要，还会执行多次迭代），并使用 DAG 确定要执行步骤的最佳顺序。</p>
<p dir="ltr"><br />与 Hadoop 相互排斥<br />Spark 被设计为与 Hadoop 兼容，所以 Hadoop 和 Spark 可以紧密协作。事实上，Spark 下载包含用于使用 HDFS（用于存储管理）和 YARN（用于资源管理和调度）的 Hadoop 客户端库。</p>
<p dir="ltr"><br /><strong>解决方案</strong><br />在一开始的时候，我就介绍了 Spark 能解决的一些问题。现在我将展示 Spark 如何解决这些问题。</p>
<p dir="ltr"><br />我们需要（快速获取）答案<br />近实时的分析在一段时间内需要高性能。Spark 处理来自内存的数据，所以处理速度很快。Spark 的核心库支持轻松地编写优化的代码来获得最快的结果。最多比 MapReduce 快 100 倍！</p>
<p dir="ltr"><br />数据如此之多<br />或许使用 Spark 的最大好处是它能处理实时流数据。来自交易场所、社交媒体单击流和 IoT 设备的数据必须在传输到磁盘之前快速转换。使用 Hadoop HDFS 时，需要将数据写入磁盘，然后读回进行 Map/Reduce 转换处理，接着再写回磁盘，然后才能交到分析师手中。<br />Spark&nbsp;Streaming&nbsp;允许在内存中处理传入的数据，然后写入磁盘供以后扩充（如有必要）和进一步分析。</p>
<p dir="ltr"><br />A 与 B（以及 C、D 等等）有何关联？<br />来自多个来源的数据（比如交易数据、社交媒体数据、单击流等）拥有隐藏的关联，梳理这些关联有助于发现数据中的新见解和洞察 - 它们从表面上看似乎处于完全不同的维度，但实际上却紧密关联。但要以有意义的方式实现此目的，需要灵活地转换数据（速度快没有坏处，对吧？），以便找到正确的方向。<br />Spark&nbsp;GraphX&nbsp;结合了二者的优势：多个算法的灵活性，以及以各种不同方式转换和合并数据的速度。</p>
<p dir="ltr"><br />我们需要知道（何时）将会发生什么<br />在预测未来时，拥有一批历史数据是一笔非常宝贵的资产。但预测分析需要严谨的软件（当然还有硬件）。<br />Spark 的&nbsp;MLib&nbsp;具有很高的性能（惊讶吧？）机器学习 (ML) 库采用了大量经过实践检验的算法（比如分类、回归和聚类）、特制技术（比如转换和降维）和实用工具（比如线性代数和统计学）。</p>



</div>
<div>
<h3>2 Spark与MapReduce的区别</h3>
<div>
<p>都是分布式计算框架，Spark基于内存，MR基于HDFS。Spark处理数据的能力一般是MR的十倍以上，Spark中除了基于内存计算外，还有DAG有向无环图来切分任务的执行先后顺序。</p>



</div>



</div>
<h2>二、Spark的四大特性</h2>
<h3>1、高效性</h3>
<p class="lead">官网介绍Spark运行速度提高100倍。Apache Spark使用最先进的DAG调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能。</p>
<h3>2、易用性</h3>
<p>Spark支持Java、Scala，Python和R的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell，可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。</p>
<h3>3、通用性</h3>
<p>Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark&nbsp;SQL）、实时流处理（Spark&nbsp;Streaming）、机器学习（Spark&nbsp;MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力，毕竟任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。</p>
<h3>4、兼容性</h3>
<p>Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache&nbsp;Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人都可以非常容易地部署和使用Spark。此外，Spark还提供了在EC2上部署Standalone的Spark集群的工具。</p>
<p>&nbsp;</p>
<h2>三、Spark的技术栈</h2>
<p><img src="https://images2018.cnblogs.com/blog/1385722/201807/1385722-20180712143010879-1464044922.png" alt="" /></p>
<p><strong>SparkCore</strong>：将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。</p>
<p><strong>SparkSQL</strong>：Spark Sql 是Spark来操作结构化数据的模块，可以使用SQL语句的方式来查询数据，Spark支持多种数据源，如HDFS，FLume，Kafka等。</p>
<p><strong>SparkStreaming</strong>：&nbsp;是Spark提供的实时数据进行流式计算的组件。</p>
<p><strong>MLlib</strong>：提供常用机器学习算法的实现库。</p>
<p><strong>GraphX</strong>：提供一个分布式图计算框架，能高效进行图计算。</p>
<p><strong>BlinkDB</strong>：用于在海量数据上进行交互式SQL的近似查询引擎。</p>
<p><strong>Tachyon</strong>：以内存为中心高容错的的分布式文件系统。</p>
<p>&nbsp;</p>
<h2>四、Spark的运行模式</h2>
<table border="1">
<tbody>
<tr>
<td><strong>运行环境</strong></td>
<td><strong>模式</strong></td>
<td><strong>描述</strong></td>



</tr>
<tr>
<td>Local</td>
<td>本地模式</td>
<td>常用于本地开发测试，如在eclipse，idea中写程序测试等。本地还分为local单线程和local-cluster多线程</td>



</tr>
<tr>
<td>Standalone</td>
<td>集群模式</td>
<td>Spark自带的一个资源调度框架，支持完全分布式。存在的Master单点故障可由ZooKeeper来实现HA</td>



</tr>
<tr>
<td>Yarn</td>
<td>集群模式</td>
<td>运行在yarn资源管理器框架之上，由yarn负责资源管理，Spark负责任务调度和计算</td>



</tr>
<tr>
<td>Mesos</td>
<td>集群模式</td>
<td>运行在mesos资源管理器框架之上，由mesos负责资源管理，Spark负责任务调度和计算</td>



</tr>
<tr>
<td>Kubernetes</td>
<td>集群模式</td>
<td>运行在Kubernetes资源管理的集群上，目前Kubernetes调度程序是实验性的</td>



</tr>



</tbody>



</table>
<p>&nbsp;</p>
<div>
<h2>五、Spark的常用术语</h2>
<table border="0">
<tbody>
<tr>
<td><strong>术语</strong></td>
<td><strong>描述</strong></td>



</tr>
<tr>
<td>&nbsp;Application&nbsp; &nbsp; &nbsp; &nbsp;</td>
<td>Spark的应用程序，包含一个Driver program和若干Executor</td>



</tr>
<tr>
<td>&nbsp;SparkContext&nbsp; &nbsp;</td>
<td>Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor</td>



</tr>
<tr>
<td>&nbsp;Driver Program</td>
<td>运行Application的main()函数并且创建SparkContext</td>



</tr>
<tr>
<td>&nbsp;Executor</td>
<td>
<p>是为Application运行在Worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。</p>
<p>每个Application都会申请各自的Executor来处理任务</p>



</td>



</tr>
<tr>
<td>
<p>&nbsp;ClusterManager</p>



</td>
<td>在集群上获取资源的外部服务(例如：Standalone、Mesos、Yarn)</td>



</tr>
<tr>
<td>&nbsp;Worker Node</td>
<td>集群中任何可以运行Application代码的节点，运行一个或多个Executor进程</td>



</tr>
<tr>
<td>&nbsp;Task</td>
<td>运行在Executor上的工作单元</td>



</tr>
<tr>
<td>&nbsp;Job</td>
<td>SparkContext提交的具体Action操作，常和Action对应</td>



</tr>
<tr>
<td>&nbsp;Stage</td>
<td>每个Job会被拆分很多组task，每组任务被称为Stage，也称TaskSet</td>



</tr>
<tr>
<td>&nbsp;RDD</td>
<td>是Resilient distributed datasets的简称，中文为弹性分布式数据集;是Spark最核心的模块和类</td>



</tr>
<tr>
<td>&nbsp;DAGScheduler</td>
<td>根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler</td>



</tr>
<tr>
<td>&nbsp;TaskScheduler</td>
<td>将Taskset提交给Worker node集群运行并返回结果</td>



</tr>
<tr>
<td>&nbsp;Transformations</td>
<td>
<p>是Spark API的一种类型，Transformation返回值还是一个RDD，&nbsp;所有的Transformation采用的都是懒策略，</p>
<p>如果只是将Transformation提交是不会执行计算的</p>



</td>



</tr>
<tr>
<td>&nbsp;Action</td>
<td>是Spark API的一种类型，Action返回值不是一个RDD，而是一个scala集合；计算只有在Action被提交的时候计算才 被触发。</td>



</tr>



</tbody>



</table>



</div>



</div>



</div>



</div></div><div id="MySignature"></div>


</body>
</html>
